Cao Diên Tông là người con trai thứ năm của Cao Trừng- người từng nắm quyền cai quản đại chính Đông Ngụy, và là em trai ruột của đại danh tướng nổi tiếng nhất thời Nam - Bắc triều là Lan Lăng vương Cao Trường Cung. Mẹ của Cao Diên Tông là một người thiếp của Cao Trừng và mang họ Trần, trước đó bà là thiếp của Quảng Dương vương Nguyên Đam (元湛). Do Cao Trừng bị nô bộc là Lan Kinh sát hại vào năm 549, Cao Diên Tông được thúc phụ là Cao Dương nuôi nấng, Cao Dương đã tiếm vị Đông Ngụy Hiếu Tĩnh Đế vào năm 550, lập ra triều Bắc Tề còn bản thân trở thành Văn Tuyên Đế. Văn Tuyên Đế được mô tả là yêu mến Cao Diên Tông đến nỗi khi Cao Diên Tông đã 11 tuổi, hoàng đế vẫn để Cao Diên Tông cưỡi mình khi chơi đùa. Vào năm 555 hoặc trước đó, Văn Tuyên Đế đã hỏi xem Cao Diên Tông muốn được phong tước vương nào, Cao Diên Tông đã hồi đáp: "Thần muốn trở thành Xung Thiên vương". Thừa tướng Dương Âm (楊愔) giải thích rằng trên trần không có quận nào như vậy, và theo đề xuất của Dương Âm, Văn Tuyên Đế đã phong cho Cao Diên Tông làm An Đức vương vào năm 555.

Trong thời gian trị vì của một thúc phụ khác là Hiếu Chiêu Đế, ông trở thành thứ sử của Định châu (定州, nay gần tương ứng với Bảo Định, Hà Bắc). Ông bị cáo buộc đã lạm dụng thuộc hạ của mình, gồm cả hành vi đi đại tiện ở tầng trên và buộc một người nào đó phải ở tầng dưới để dùng miệng mình hứng phân, hay trộn phân với thịt lợn rồi đưa cho người khác ăn, những ai không thể ăn sẽ bị đánh. Khi Hiếu Chiêu Đế biết chuyện, ông ta đã phái Triệu Đạo Đức (趙道德) đến Định châu để phạt đánh Cao Diên Tông 100 gậy. Do Cao Diên Tông không tiếp nhận hình phạt với thái độ tốt, Triệu Đạo Đức đã đánh thêm 30 gậy nữa. Cao Diên Tông cũng được biết đến với việc thử độ sắc của kiếm bằng cách chém người, và tha cho các hành vi lạm dụng của các thuộc hạ. Trong thời gian trị vì của một thúc phụ khác là Vũ Thành Đế, hoàng đế đã cử sứ giả đến phạt đánh ông vì các hành vi lạm dụng này và hành quyết chín trong số các trợ thủ của ông. Sau đó, Cao Diên Tông ân hận về những hành vi của mình và thay đổi. Năm 566, khi Vũ Thành Đế tra tấn kì huynh của Cao Diên Tông là Hà Gian vương Cao Hiếu Uyển (高孝琬) đến chết, Cao Diên Tông đã vô cùng thương tiếc, ông đã làm một hình nộm Vũ Thành Đế và đánh vào nó, nói rằng "Tại sao lại giết kì huynh của ta?". Khi các nô bộc của ông báo tin này cho Vũ Thành Đế, Vũ Hành Đế đã cho đánh Cao Diên Tông 100 gậy, suýt khiến ông vong mạng. Tuy nhiên, sau đó Cao Diên Tông vẫn được kinh qua một số chức vụ quan trọng. Năm 569, sau khi Vũ Thành Đế qua đời, ông là một trong những người cố thuyết phục hoàng đế Cao Vĩ và Hồ thái hậu loại bỏ chức vụ của Hòa Sĩ Khai (和士開)- sủng thần của Vũ Thành Đế, song cuối cùng đã không thành công. Sang năm 571, sau khi em trai Cao Vĩ là Cao Nghiễm (高儼) giết chết Hòa Sĩ Khai trong một cuộc chính biến, Cao Diên Tông đã cùng với thứ huynh là Quảng Ninh vương Cao Hiếu Hành (高孝珩) cố gắng khuyến khích Cao Nghiễm có hành động đi xa hơn để đoạt lấy quyền lực, song Cao Nghiễm đã lưỡng lự để rồi bị đánh bại và bị giết.